Análisis de víctimas fatales por acción policial en los USA

Hito 1 Hito 2 Hito 3 Acerca De

Proyecto Semestral: Hito 3

CC5206 Semestre de Primavera 2020

Alumnos: Joaquin Cruz, Ignacio Dassori, Pablo Muñoz, Cristóbal Torres

Grupo: 17

Profesores: Felipe Bravo, Hernán Sarmiento

Fecha de entrega: 06 de Enero de 2020

Introducción

Estados Unidos se encuentra dentro de los países con mayor tasa de muertes por mano de la policía al año. En comparación con el resto de países que encabezan la lista, el resto todos presentan o bien conflictos internos (Venezuela y Siria) o políticas severas con respecto al uso de fuerza letal en contra de criminales (Brasil y las Filipinas). Resulta entonces interesante analizar el perfil de las víctimas en los Estados Unidos. Poder ver también si influyen las características que se pueden notar a simple vista en el desenlace de la situación, como si la víctima está armada, si intenta darse a la fuga, la raza a la que pertenece o su género, junto a alguna correlación entre los atributos.

Para la realización del hito 2 se cambió el dataset por uno más completo que aborda el mismo tipo de datos. Este nuevo dataset contiene por sobre 3000 instancias más que el original y nuevos atributos como la geografía del lugar en que tomo lugar el suceso, el arma que cargaba la víctima al momento de confrontar a la policía y si el policía en cuestión fue acusado de un delito posteriormente. El nuevo dataset contiene un total de 8629 filas y 29 columnas. Además de este dataset se trabajó con dos adicionales a modo de enriquecer el análisis. Estos datos corresponden a la tasa de desempleo y tasa de crímenes violentos por estado.

Los datos fueron extraídos de las siguientes direcciones.

Limpieza de Datos

Primero es importante ver la cantidad de datos que trae el dataset y además revisar cuántos valores nulos (NaN) hay en este mismo.

Para comenzar la limpieza de datos se eliminan los atributos que no resultan relevantes para el análisis e interpretación de datos que se llevará a cabo y aquellos cuya cantidad de datos nulos sea muy elevada. Los atributos no relevantes son "Street Adress of Incident", Victims's name", "URL of image of victim", "WaPo ID", "Fatal Encounters ID", "MPV ID", "Agency respondsible for death", "Link to news article or photo of official document", "Zipcode", "ORI Agenct Identifier" y "A brief description of the circumstances surrounding the death". Los atributos "Off-Duty Killing" y "Body Camera" si bien son interesantes de analizar contienen una gran cantidad de datos nulos, por lo cual no serán considerados. Por último, el atributo "Unarmed/Did Not Have an Actual Weapon" especifica si la persona se encontraba armada, pero la existencia de otro atributo que especifica el arma portada o la ausencia de una lo convierte en redundante. Esto mismo se aplica para los atributos "Official disposition of death" y "Criminal charges", ya que el segundo es una manera más compacta de describir la información presentada por el primero.

Para reducir el ruido del dataset se eliminaron datos ambigüos o mal ingresados, como valores "Unknown" o edades que incluían letras. También se eliminaron datos de muy baja frecuencia que podrían ser considerados como ruido o poco representativos. Estos fueron, por ejemplo, causas de muerte poco comunes con menos de 10 instancias en todo el dataset.

Si bien se descartó un 41% de los datos totales, se sigue contando con un volumen de datos razonablemente grande para realizar un análisis.

Después de la limpieza obtenemos un dataset con 5091 datos y 14 atributos. Posteriormente se agregaron los datos correspondientes a los datasets de tasas de criminalidad y desempleo, lo que involucró un trabajo sobre estos para poder incluirlos como nuevos atributos. En ambos casos las tasas se encontraban ordenadas por fecha y estado, siendo las de desempleo mensuales y las de criminalidad anuales. Para poder concatenar estas tablas primero se modificaron las fechas de las muertes para solo incluir mes y año, y se creó una nueva columna "key" que mezcla la fecha y estado del incidente. Esta nueva columna se agrega también a copias de los datasets "unemploiment" y "crime_index", y estas se concatenan con el dataset a trabajar. La columna "key" ya no es necesaria así que se elimina y se renombraron ciertos atributos para tener coherencia con el resto.

Es importante mencionar que las cifras de tasa de criminalidad por estado en los Estados Unidos para el año 2020 aún no se han hecho públicas por la página oficial del FBI, fuente en la cual se obtuvieron los datos para años pasados. Para este análisis se consideraron para el 2020 los mísmos índices de criminalidad de finales del 2019.

Aqui se tiene una vision preliminar de los datos que se trabajarán, son 5091 datos con 16 atributos:

Análisis de datos

En la siguiente sección se presentan distintos gráficos generados a partir de los datos tras su limpieza. En base a estos se realiza una exploración inicial de la distribución de los datos en base a sus atributos.

El gráfico de edad nos muestra que hay una gran diferencia entre la cantidad de mujeres y hombres en el dataset, además se observa que hay un gran incremento en la cantidad de personas involucradas en disparos policiales a partir de los 23-24 años aprox para el caso de los hombres, siendo este el punto de mayor concentración de los datos para luego ir descendiendo a medida que crece la edad. En el caso de las mujeres la cantidad de datos se mantiene bastante estable en el rango de edad de 20-40 años, para luego ir descendiendo a medida que crece la edad

En el grafo se observa con mayor claridad la gran diferencia entre las víctimas hombres y mujeres. Esto podría deberse a una sobrerrepresentación de hombres en el dataset, pero dada la gran cantidad y origen de los datos es razonable concluir que este no es el caso.

Las etiquetas corresponden a las razas de las personas que fueron disparadas por la policia, siendo

W: White

B: Black

A: Asian

N: Native American

H: Hispanic

P: Pacific Islander

Se observa que en la mayoría de los casos las personas fallecidas son de raza W, seguido de B y H, mientras tanto las otras razas tienen representación considerablemente menor con respecto a las otras en los datos

La manera en que las víctimas murieron fueron mayoritariamente sólo por disparos de armas de fuego, pero también hubo una cantidad no despreciable de personas que murieron por causa de disparos y arma de electrochoque, los casos de muerte por solo taser y por solo vehiculos son mínimos en comparacación a los otros.

Las etiquetas corresponden a la abreviacion de dos letras del codigo postal de cada estado, este gráfico muestra donde ocurrieron los disparos de la policia, siendo CA=California y Tx=Texas los estados donde ocurren más muertes por disparos de policias

Este grafico muestra si hubo un intento de escapar por parte de la persona de la policia, y de ser asi que medio uso para esto, se observa que la mayoría de las personas no intento escapar al momento del encuentro con la policia y que los restantes escaparon mayoritariamente por auto o a pie.

El gráfico muestra el nivel de amenaza presentado por la víctima. En la mayoría de los casos este fue calificado como "ataque", seguido de "otro" y por último una pequeña cantidad no determinada.

La mayoría de los casos de disparos policiales terminan sin cargos conocidos para el policía

Este mapa representa la densidad de víctimas por estado en los Estados Unidos por medio de un código de colores.

Usando los datos que se agregaron, al agrupar tiroteos de acuerdo al índice de desempleo, se identifica que mientras mayor es este índice, menos tiroteos policiales hay, manteniendo esa tendencia excepto para índices cercanos al 0.15.

Usando los datos que se agregaron, al agrupar tiroteos de acuerdo a la tasa de criminalidad, se logra identifica que en las menores tasas en la medida que crecen, hay una mayor cantidad de tiroteos, sin embargo después del valor 400, comienza a decrecer de modo que mientras menor se hace este índice, menos tiroteos policiales se llevan a cabo.

Preguntas y Problemas:

A partir de la motivación original y la exploración del dataset presentada anteriormente, se formulan las siguientes preguntas que tratarán de ser respondidas mediante la minería de datos:

Pre-procesamiento

Antes de proceder a contestar las preguntas se realiza un pre-procesamiento de los datos para reemplazar los datos categoricos por valores numericos de las siguiente manera:

gender

Female:0

Male:1

race

Asian:0

Black:1

Hispanic:2

Native American:3

Pacific Islander:4

White:5

city

Se ordenan los nombres de las ciudades por nombre alfabético y se les asigna valores del 0 hacia arriba, siendo el 0 la primera ciudad ordenada alfabeticamente.

state

Se ordenan los nombres de los estados por nombre alfabético y se les asigna valores del 0 hacia arriba, siendo el 0 el primer estado ordenado alfabeticamente.

county

Se ordenan los nombres de los condados por nombre alfabético y se les asigna valores del 0 hacia arriba, siendo el 0 el primer condado ordenado alfabeticamente.

manner_of_death

Gunshot:0

Gunshot, taser:1

tasered:2

vehicle:3

criminal_charges

charged:0

no known charges:1

threat_level

attack:0

other:1

undetermined:2

flee

car:0

foot:1

not fleeing:2

other:3

geography

Suburban:0

Urban:1

Metodolgía:

Pregunta 1:

Para responder esta pregunta primero debemos separar el dataset, dejando el atributo raza como etiqueta. Además, eliminamos todas aquellas columnas que no sean relevantes para el análisis como la fecha o que sea conveniente eliminar dada su gran cantidad de valores posibles, como es el caso para el atributo "weapon". Se eliminan las columnas "city" y "county" para así analizar el caso más general que corresponde a los estados. Una vez hecho esto se separan los datos en entrenamiento y test.

Se probarán tres clasificadores diferentes: Árboles de decisión, SVM y KNN. Evaluamos todos los casos y buscamos el que entregue los mejores resultados:

Decission Tree entrega los mejores resultados, con valores de precision, recall y f1-score de 0.53, 0.56 y 0.51 respectivamente. Sin embargo, estos valores no son lo suficientemente altos para considerar al clasificador como confiable. Además, ninguno de los clasificadores es capaz de predecir las razas con menor representación, es decir asian, pacific islander y native american. Podemos concluir que no es posible predecir efectivamente la raza de una persona en base a sus otros atributos con el dataset sobre el cual se trabajó.

Pregunta 2

Para responder esta pregunta primero debemos separar el dataset, dejando el atributo manner_of_death como etiqueta. Además, eliminamos todas aquellas columnas que no sean relevantes para el análisis como la fecha. Una vez hecho esto se separan los datos en entrenamiento y test para luego proceder a realizar el oversampling

El oversampling logra métricas y resultados bajos para el uso de support vector machine, donde solo entrega resultados confiables en la predicción si la victima murió solo por un diparo. Por otro lado al usar un árbol de decisión con máxima profundidad de 2 mejora mucho para predecir si la víctima muere de otras formas. Se obtienen en promedio métricas mayores a 40% al usar el árbol de decisión, de modo que este clasificador no es lo suficientemente preciso para ser utilizado, sin embargo puede ser usado para evaluar los datos teniendo en consideracion que las predicciones pueden ser erradas, logrando predecir pero con una baja cantidad de aciertos. Estos resultados son producto de la gran diferencia en la cantidad de datos para cada clase.

Pregunta 3

Primero, se borran los atributos "county" y "city", que no se utilizarán para el clasificador porque son muy especifícos y separan demasiado la información. Por otro lado, el atributo edad se agrupa en intervalos de a 10 para que los modelos de clustering puedan utilizar esa información. Además, del atributo fechas se consideran solo los meses, para poder clusterizar si es que hay patrones en las fechas del año en que ocurren los tiroteos.

Funciones para evaluar las métricas de clustering

K-Means

Clustering Jerárquico Aglomerativo

DBScan

Las técnicas de clustering, incluso habiendo agrupado las edades en intervalos, no encuentran buenos clusters. Esto se observa al graficar la matriz de similitud para ver la cercanía entre los clusters. Bajo ninguno de los modelos utilizados, que son K-means, Aglomerative Clustering y DBScan, se encuentran clusters muy separados entre si.

En este caso, que DBScan no funcione bien parece indicar que los conjuntos tienen muy grandes diferencias de densidades.

Por lo tanto, luego del experimento, no se logra evidenciar la existencia de un grupo con ciertas caracteristicas que disparado más frecuentemente por la policía.

Pregunta 4

Se borran algunos atributos que no se usarán para el clasifiador, entre estos la fecha para no asignar peso a la fecha en la que ocurre el hecho y se eliminan también los atributos city y county, esto para usar solo el estado al momento de clasificar. Por último se borra la clase 3 en flee, esto ya que es other y por su poca cantidad se considera ruido. Quedando con con las clases cuando la víctima huye a pie, en auto o bien no huye.

El uso de oversampling logra métricas y resultados bajos para el uso de support vector machine, donde solo entrega resultados confiables en la predicción si la víctima no huye. Por otro lado al usar un árbol de decisión con máxima profundidad de tres, mejora mucho para predecir si la víctima huye en auto o no huye. Se obtienen en promedio métricas mayores a 50% al usar el árbol de decisión, de modo que este clasificador es mejor, además es suficientemente confiable para decir que si se puede predecir. Ahora bien estas predicciones no son las mejores pero tientan a la posibilidad de mejorar los modelos con la obtención de más datos.

Planificación Futura

Respecto al tema tratado en el proyecto sobre tiroteos y la posibilidad de predecir estos, se debería preferir modelos con resultados de las métricas que al menos superen el 80%, dado que consideran aspectos y vidas humanas. Con lo que la tarea de generar modelos de este tipo se vuelve muy complicada al tener que considerar cada vez mas atributos que puedan ser representativos al momento de predecir y, la constante necesidad de una mayor cantidad de datos. Esto queda demostrado con los resultados obtenidos de los experimentos incluso usando técnicas para que esta diferencia en la cantidad de datos no afecte tanto.

Así, la principal idea a considerar a futuro es que los datos actuales no son suficientes para obtener los mejores modelos, por lo tanto un tema importante es la posibilidad de adición de más datos, lo que incluiría buscar más bases de datos que complementen los que se tienen, pudiendo también agregar más atributos. Una posibilidad que se considera también es no solo usar datos de tiroteos en Estados Unidos, lo que aumentaría mucho la cantidad de datos pero habría que en lugar de usar estados, usar países.

Algo también a considerar a futuro es probar más combinaciones de atributos, evaluando también si eliminar columnas mejora los modelos, probar distintas configuraciones para los modelos, entre ellos el más importante usar otros kernels para los SVM. Además probar el uso de otros modelos, entre ellos el perceptrón multicapa, que podría tener mejores resultados. También considerar otras métricas para medir los modelos de clustering.

Aportes de Cada Integrante: